Statistically Valid Hyperparameter Selection: From Tuning to Guarantees
统计有效的超参数选择：从调参到保证
🧭 统计学习与假设检验
Northeastern University London
提出 learn-then-test 框架，将超参数选择转化为多重假设检验，提供有限样本风险控制的形式化保证
📌 工作参考价值（4 点）
- 可将推荐系统中 LLM 推理参数（温度、top-p）、检索环节 top-k、广告出价阈值等超参数选择问题，套入 LTT 框架，在有限验证集上获得可证明的风险上界
- 当业务要求安全或可靠性约束（如推荐多样性最低容忍度、广告点击率下界），用假设检验方法筛选出满足要求的候选超参组合，替代纯经验调优
- 引入 e-values 替代 p-values 作统计量，支持随时停止与在线校验，适合在线 A/B 测试中持续监控超参风险
- 将模型升级、数据分布变化后的重新调参视为再检验，利用错误发现率控制（如 Benjamini-Hochberg 流程）避免选择出的超参存在过检验风险